Xác suất và Thống kê: Khoa học về Sự bất định: Từ Xác suất đến Khả năng xảy ra: Khoa học suy luận

Suy luận thống kê đánh dấu sự chuyển tiếp từ việc dự đoán kết quả dựa trên các tham số đã biết (xác suất) sang việc xác định tham số nào phù hợp nhất với dữ liệu quan sát được (khả năng xảy ra). Trong khi hàm mật độ xác suất $f(x|\theta)$ mô tả phân bố của dữ liệu $x$ với $\theta$ cố định, thì hàm khả năng $L(\theta|x)$ coi dữ liệu quan sát là cố định và biến đổi tham số $\theta$ để đo lường mức độ hỗ trợ tương đối cho các giả thuyết khác nhau.

Nguyên lý đảo ngược

Hàm khả năng thường được biểu diễn dưới dạng mật độ đồng thời. Với phân bố chuẩn có phương sai cố định, hàm khả năng được định nghĩa bởi:

$L ( \theta | x_1, \dots, x_n ) = \exp\left( -\frac{n}{2\sigma_0^2} (\bar{x} - \theta)^2 \right)$

Ở đây, chúng ta đánh giá mức "hợp lý" của các giá trị $\theta$ khác nhau dựa trên trung bình mẫu $\bar{x}$. Để tìm đỉnh của mức hợp lý này, chúng ta sử dụng Định nghĩa 6.2.2: hàm log-khả năng $l(\theta | s) = \ln L(\theta | s)$. Biến đổi này đơn giản hóa tích của các quan sát độc lập thành tổng, làm cho việc tối đa hóa các mô hình phức tạp trở nên khả thi về mặt tính toán.

Ví dụ minh họa: Khảo sát chiều cao (VÍ DỤ 6.3.5)

Dữ liệu

Xét một mẫu gồm $n=30$ chiều cao với độ lệch chuẩn được tính là $s=2.379$. Sử dụng Mô hình chuẩn vị trí-thang đo, chúng ta muốn suy luận giá trị trung bình thật sự $\theta$.

Suy luận & Độ chính xác

Độ lệch chuẩn được tính là $s/\sqrt{30} = 0.43434$. Giá trị này đo lường độ "nhọn" của đỉnh khả năng của chúng ta. Một độ lệch chuẩn nhỏ hơn ngụ ý đỉnh hẹp và nhọn hơn, thể hiện độ chính xác cao hơn trong suy luận về $\theta$.

Thứ bậc chiều và Các ràng buộc

Trong các tình huống phức tạp như VÍ DỤ 6.1.5 (Mô hình Đa thức), chúng ta phải cân nhắc các mối liên hệ logic. Như đã lưu ý, "Chú ý rằng thực tế nó chỉ có hai chiều, vì ngay khi chúng ta biết giá trị của bất kỳ hai tham số nào trong số các $\theta_i$... chúng ta sẽ ngay lập tức biết giá trị của tham số còn lại." Ràng buộc này rất quan trọng để xác định đúng không gian tham số $\Omega$.

Cơ sở tiệm cận

Cầu nối từ khả năng sang suy luận phụ thuộc vào Định lý giới hạn trung tâm. Khi $n \to \infty$, phân bố của các ước lượng của chúng ta hội tụ. Cụ thể, trong trường hợp MÔ HÌNH BERNOULLI VÍ DỤ 6.5.4:

$Z = \frac{\sqrt{n}(\bar{X} - \theta)}{\sqrt{\bar{X}(1 - \bar{X})}} \xrightarrow{D} N(0, 1)$

Điều này cho phép chúng ta đo lường mức độ bất định bằng khoảng tin cậy z và giá trị p, miễn là chúng ta có đủ lớn mẫu.

🎯 Nguyên tắc cốt lõi

Các phương pháp suy luận thống kê không phụ thuộc phân bố chỉ yêu cầu các giả định tối thiểu về phân bố lấy mẫu, giúp chúng bền vững khi họ $\{P_{\theta} : \theta \in \Omega\}$ rất lớn. Ngược lại, các phương pháp khả năng tham số phụ thuộc vào độ cong của hàm log-khả năng, nơi thông tin Fisher $nI(\theta)$ xác định phương sai của hàm điểm số của chúng ta.

CÂU HỎI 1

6.1.2: Giả sử các vụ tự tử xảy ra với tỷ lệ $p$ mỗi năm người (phân bố Poisson(Np)). Nếu chúng ta quan sát thấy 22 vụ tự tử trong $N=30.345$ năm người, hàm log-khả năng $l(p)$ là gì?

$l(p) = -30345p + 22\ln(p) + C$

$l(p) = 30345\ln(p) - 22p + C$

$l(p) = e^{-30345p} p^{22}$

$l(p) = -22p + 30345\ln(p)$

CÂU HỎI 2

6.3.14: Khoảng tin cậy 0,95 cho $\psi(\theta)$ là $(1,23, 2,45)$. Có bằng chứng chống lại $H_0 : \psi(\theta) = 2$ không?

Không, vì 2 nằm trong khoảng.

Có, vì 2 không phải là trung tâm của khoảng.

Có, ở mức $\alpha=0,01$.

Thông tin chưa đủ để kết luận.

CÂU HỎI 3

Kiểm tra moment bậc 3 của $N(\mu, \sigma^2)$. Biểu thức nào sau đây đại diện cho $\mu_3 = E_{\theta}(X^3)$?

$\mu^3 + 3\mu\sigma^2$

$\mu^3 + \sigma^3$

$3\mu^2\sigma + \mu^3$

$\mu^3 + 3\sigma^2$

CÂU HỎI 4

6.5.1: Nếu $x_1, \dots, x_n \sim N(\mu_0, \sigma^2)$ với $\mu_0$ đã biết, thì thông tin Fisher $I(\sigma^2)$ là bao nhiêu?

$1 / (2\sigma^4)$

$1 / \sigma^2$

$n / (2\sigma^2)$

$2\sigma^4$

CÂU HỎI 5

Trong mô hình Đa thức k-nhóm (VÍ DỤ 6.1.5), chiều hiệu dụng của không gian tham số là bao nhiêu?

$k - 1$

$k$

$k^2$

$1$

Thử thách: Đánh giá chất lượng ước lượng

Phương sai trung bình và Thông tin Fisher

Bạn đang điều tra một ước lượng $T$ cho tham số $\psi(\theta)$ trong một thí nghiệm Bernoulli quy mô lớn. Bạn cần đo lường độ chính xác của suy luận bằng cách sử dụng các đặc tính của hàm điểm số và các tiêu chí sai số.

Câu hỏi 1

Định nghĩa Sai số bình phương trung bình (MSE) cho một ước lượng $T$ và giải thích tại sao MSE thấp hơn là mong muốn trong suy luận.

Giải pháp:
$$MSE_{\theta}(T) = E_{\theta}((T - \psi(\theta))^2)$$
MSE phân tích thành Sai số² + Phương sai. MSE thấp hơn cho thấy ước lượng, trung bình, gần với giá trị tham số thật hơn, giảm thiểu hình phạt bậc hai do sai số ước lượng.

Câu hỏi 2

Sử dụng Hệ quả 6.5.1, nếu một quan sát cung cấp Thông tin Fisher $I(\theta)$, thì tổng thông tin chứa trong mẫu kích thước $n$ là bao nhiêu, và điều này liên quan thế nào đến phương sai của hàm điểm số?

Giải pháp:
Theo Hệ quả 6.5.1, tổng thông tin Fisher cho $n$ quan sát độc lập và cùng phân bố là $nI(\theta)$. Hơn nữa, phương sai của hàm điểm số $S(\theta)$ đúng bằng thông tin này: $Var_\theta(S(\theta)) = nI(\theta)$. Thông tin cao hơn dẫn đến đường cong khả năng dốc hơn và các ước lượng cực đại hóa xác suất (MLE) chính xác hơn.

Câu hỏi 3

Trong Ví dụ 6.3.14, tại sao khoảng tin cậy không hợp lệ nếu $\psi$ không liên tục khả vi tại một điểm (ví dụ, $\mu = 0$)?

Giải pháp:
Tính chuẩn tiệm cận và phương pháp Delta phụ thuộc vào khai triển Taylor. Nếu hàm $\psi$ không khả vi liên tục, phương sai của ước lượng đã biến đổi không thể được xấp xỉ đúng bằng gradient, dẫn đến độ lệch chuẩn (và do đó khoảng tin cậy z) thất bại.